Towards Generalizable and Efficient Large-Scale Generative Recommenders
迈向通用且高效的大规模生成式推荐系统
🧭 生成式推荐 · 大规模生产优化 ★ 深度解读
Netflix Research
在10亿参数生成式推荐模型中，用任务相关缩放法则、多token预测和语义塔解决了规模化后的效果迁移与工程效率难题。
📌 工作参考价值（4 点）
- 任务相关的缩放法则作为资源分配指南：不同推荐任务的预测难度与天花板差异极大，直接用 MRR 拟合偏移幂律可量化剩余 headroom，指导模型容量投入——若任务已接近天花板，应转向优化目标函数或对象表示，而非盲目扩大 backbone。
- 多 token 预测对齐缓存服务延迟：电商推荐中常因在线排序延迟而使用缓存，导致 next-token 目标在服务时已失效。MTP 用带时间衰减的多目标加权标签训练，在 48 小时延迟下 MRR 提升 20%+，可直接用于离线与近线推理的标签构造，且不增加线上推理成本。
- 语义塔与协同嵌入掩码协同处理冷启动：新物品缺乏 ID 嵌入时，通过共享的多模态语义塔（知识图谱、LLM 文本嵌入、人工标签）构建物品向量，并在训练时按比例随机掩码协同嵌入为 OOV 嵌入，使解码器学会平衡 ID 与语义信号。电商新品上架可直接复用该范式。
- 轻量级解码效率方案：用 1% 均匀采样负样本的 sampled softmax 加 d/8 投影头，在不改 backbone 前提下可大幅降低训练 FLOPs（如 10^6 输出空间下降 35 倍），支持万亿级行为 token 的频繁重训练，工程实现简单且与 SID 等方法正交。